นายประเสริฐเคยดำรงตำแหน่งสมาชิกสภาจังหวัดนครราชสีมา 2 สมัย ต่อมาได้เป็น ส.ส.พรรคไทยรักไทยในปี พ.ศ. 2544 และ พ.ศ. 2548 ก่อนที่พรรคจะถูกยุบ และย้ายไปสังกัดพรรคพลังประชาชน นายประเสริฐลงสมัครรับเลือกตั้งอีกครั้งและได้รับเลือก ก่อนที่พรรคพลังประชาชนจะถูกตัดสินยุบพรรค ทำให้นายประเสริฐต้องย้ายไปสังกัดพรรคเพื่อไทยในเวลาต่อมา โดยนายประเสริฐเป็นหนึ่งในผู้ที่ร่วมการอภิปรายไม่ไว้วางใจ นายกรณ์ จาติกวณิช รัฐมนตรีว่าการกระทรวงการคลัง ในรัฐบาลของนายอภิสิทธิ์ เวชชาชีวะด้วย

ต่อมาวันที่ 9 มิถุนายน พ.ศ. 2552 นายพร้อมพงศ์ นพฤทธิ์ โฆษกพรรคเพื่อไทย แถลงผลการประชุมคณะทำงานโฆษกพรรคว่า การประชุมเป็นการแบ่งหน้าที่การทำงานของรองโฆษกพรรคที่มีการตั้งขึ้นเพิ่มเติมอีก 8 คน จากเดิมที่มีรองโฆษกเพียงคนเดียว โดยเป็น ส.ส.ถึง 6 คน คือ นายชลน่าน ศรีแก้ว ส.ส.น่าน นายประเสริฐ จันทรรวงทอง ส.ส.นครราชสีมา นางฐิติมา ฉายแสง ส.ส.ฉะเชิงเทรา นายสุชาติ ลายน้ำเงิน ส.ส.ลพบุรี ร.ท.ปรีชาพล พงษ์พานิช ส.ส.ขอนแก่น น.ส.วิสาระดี เตชะธีราวัฒน์ ส.ส.เชียงราย สำหรับคนนอกที่มารับตำแหน่งรองโฆษกอีก 2 คนคือ นายจิรายุ ห่วงทรัพย์ และนายพิทยา พุกกะมาน อดีตผู้สมัคร ส.ส.สัดส่วน รวมขณะนี้พรรคเพื่อไทยมีรองโฆษก 9 คน เพื่อต้องการให้มีการประสานเชื่อมโยงกับการทำงานในสภาฯของ ส.ส.ด้วยกันให้มากขึ้น เพราะบางครั้งข้อมูลที่พรรคได้รับมานั้นมาจากคณะกรรมาธิการของสภาผู้แทน ราษฎร ที่มี ส.ส.พรรคเพื่อไทยเป็นคณะกรรมาธิการ[1]

ในปี พ.ศ. 2554 ได้รับแต่งตั้งเป็นประธานคณะกรรมาธิการการป้องกันปราบปรามการฟอกเงินและยาเสพติด สภาผู้แทนราษฎร ต่อมาได้รับแต่งตั้งเป็นรัฐมนตรีช่วยว่าการกระทรวงคมนาคม ในรัฐบาลนางสาวยิ่งลักษณ์ ชินวัตร (ครม.ยิ่งลักษณ์ 3) [2] จนกระทั่งพ้นจากตำแหน่งรัฐมนตรีในเดือนมิถุนายน พ.ศ. 2556[3]